Doorontwikkelen en testen 
concept model 1 stembiljet 


verslag 


datum: 29 april 2016 
nummer: bzk_10131 
kenmerk BZK: 2015-0000106539 

opgesteld door: 

firMM information/service design 

opdrachtgever: 

ministerie van Binnenlandse Zaken en Koninkrijksrelaties 
Directoraat-generaal Bestuur en Koninkrijksrelaties 
postbus 20011, 2500 EA Den Haag 



Doorontwikkelen en testen concept model 1 stembiljet / 29 april 2016 


2 


Inhoud 

1 Inleiding 3 

2 Concept model 1 voor een stembiljet met 4 

kandidatenoverzicht, mal en uitleg 

2.1 Concept model 1 voor het stembiljet 

2.2 Aangepast kandidatenoverzicht 

2.3 Verbeterde mal met (braille-)instructie 

3 Testen 14 

3.1 Test op 18 november 2015 

3.2 Test met blinde en slechtziende proefpersonen 

3.3 Test met laaggeletterde proefpersonen 

4 Test elektronisch tellen concept model 1 stembiljet 25 

4.1 Elektronisch tellen met OMR en OCR 

4.2 Test elektronisch tellen van concept model 1 met OCR-techniek 

5 Verbeteringsvoorstellen op basis van testresultaten 34 

5.1 Aanpassingen aan concept model 1 

5.2 Aanpassingen aan het kandidatenoverzicht 



Doorontwikkelen en testen concept model 1 stembiljet / 29 april 2016 


3 


1 Inleiding 


Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) overweegt om te 
experimenteren met een nieuw stembiljet waarmee gestemd wordt in een stemlokaal. 
Naar aanleiding hiervan heeft het ministerie van BZK concept model 1 van een nieuw 
stembiljet laten uitwerken en testen laten uitvoeren. 

Concept model 1, alsmede de bijbehorende hulpmiddelen voor kiezers met een visuele 
beperking, zijn doorontwikkeld. Daarbij is gebruik gemaakt van eerdere testresultaten uit 
de periode oktober - december 2015. In die periode is het aangepaste concept model 1 
getest met proefpersonen. Ook is een test uitgevoerd met het elektronisch tellen van het 
concept model 1 met behulp van OCR-techniek. 

Hoofdstuk 2 geeft een overzicht van het doorontwikkelde concept model 1 van het 
stembiljet, het bijbehorende kandidatenoverzicht en de hulpmiddelen voor gebruikers met 
een visuele beperking. 

In hoofdstuk 3 zijn de testen met verschillende groepen proefpersonen beschreven. Uit de 
resultaten blijkt het aangepaste concept model 1, in vergelijking met eerdere varianten 
van dit model, duidelijk toegankelijker voor de proefpersonen. Het aantal ongeldig 
ingevulde testbiljetten is substantieel afgenomen. Samen met de doorontwikkelde mal 
blijkt het aangepaste concept model 1 toegankelijk voor blinde en slechtziende 
proefpersonen, zeker als zij braille beheersen. 

Hoofdstuk 4 doet verslag van de test met het elektronisch tellen van het concept model 1 
met OCR-techniek. Geconcludeerd kan worden dat elektronisch tellen van dit concept 
stembiljet mogelijk is. 

Naar aanleiding van bevindingen uit de test zijn nieuwe verbeteringsvoorstellen voor het 
concept model 1 gedaan. De verwachting is dat het percentage ongeldige invullingen 
hierdoor nog verder kan worden teruggebracht. In hoofdstuk 5 worden deze voorstellen 
toegelicht. 
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2 Concept model 1 voor een stembiljet met 
kandidatenoverzicht, mal en uitleg 

Dit hoofdstuk beschrijft concept model 1 van het stembiljet, het bijbehorende 
kandidatenoverzicht en de hulpmiddelen voor blinde en slechtziende kiezers om zelfstandig 
een stem mee te kunnen uitbrengen op het stembiljet. De aanname daarbij is dat dit 
stembiljet zowel handmatig als met behulp van OCR-techniek zou kunnen worden geteld. 

2.1 Concept model 1 voor het stembiljet 

Concept model 1 betreft een stembiljet op A4-formaat (297 x 210 mm) waarop een kiezer 
eerst een keuze maakt voor een lijst en vervolgens voor een kandidaatnummer. Het 
stembiljet toont van elke lijst die aan een verkiezing deelneemt het lijstnummer, de 
partijnaam en het partijlogo (als dat beschikbaar is). Het aangepaste concept model 1 
biedt ruimte voor maximaal 28 lijsten en maximaal tachtig genummerde stemvakjes voor 
de kandidaten (80 is het maximaal mogelijke aantal kandidaten per lijst, bij een verkiezing 
voor de leden van de Tweede Kamer, zie afbeelding 13 op pagina 27). Om een kandidaat 
te kiezen, zoekt een kiezer het nummer van de kandidaat op in een afzonderlijk overzicht 
(pararagraaf 2.2), bijvoorbeeld op een poster in het stemhokje of in een folder. 

Op basis van de bevindingen uit de testen in 2012 is het oorspronkelijke concept model 1 
(z/e afbeelding 1 op pagina 5) doorontwikkeld. Daarbij is bijzondere aandacht besteed aan 
de verbetering van het gebruik van het stembiljet in combinatie met een mal voor blinden 
en slechtzienden. Ook het kandidatenoverzicht en de uitleg bij het stembiljet zijn 
doorontwikkeld voor de toegankelijkheid van het stembiljet voor slechtzienden en 
laaggeletterden. 1 Om na te gaan of de toegankelijkheid van het stembiljet en de 
hulpmiddelen adequaat was, zijn de ontwerpen tussentijds voorgelegd aan focusgroepen 
van blinden, slechtzienden/ouderen en laaggeletterden. Bevindingen uit die sessies zijn 
meegenomen in het aangepaste model concept 1 (zie afbeelding 2 op pagina 6) en de 
hulpmiddelen ( paragrafen 2.2 en 2.3). 

Wat zijn de veranderingen aan concept model 1? 

Ten opzichte van het oorspronkelijke concept model 1 zijn voorafgaand aan de test de 
volgende aanpassingen gedaan. 

Om voor kiezers duidelijker te maken dat éérst een lijst moet worden gekozen en 
vervolgens een kandidaat, zijn de teksten bij Stap 1 en Stap 2 teruggebracht tot 
de essentie: 'één partij kiezen' en 'één nummer kiezen van een kandidaat'. 


1 Bij het doorontwikkelen van het concept model 1 voor het stembiljet, de uitleg bij het stembiljet, de mal met uitleg 
en het kandidatenoverzicht op tabloidformaat is, voor zover van toepassing, rekening gehouden met de 'Handreiking 
leesbaarheid gedrukte tekst' van de Oogvereniging. 
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Stap i: Maak de witte stip zwart bij de partij van uw keuze 
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& Stap 2: Maak de witte stip zwart bij de kandidaat van uw keuze 

Let op! Kies bij stap 1 eerst eert partij. Kiest u alleen een kandidaat dan is uw stem ongeldig. 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 

O O O O O O O O O O O O O O O O O O O O - 

21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 

O O O O O O O O O O O O O O O O O O O O - 

41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 

>00000000000 - 

61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 

oooooooooooooooooo - 


Afbeelding 1. Het oorspronkelijke concept model 1 (met fictieve lijsten) zoals het werd 
getest in 2012 


Blinden en slechtzienden kunnen bij het maken van een keuze op het stembiljet 
een mal gebruiken. Voor het inkleuren van een stemvakje op een stembiljet met 
een mal staan de stemvakjes op het stembiljet op vaste posities en is de grootte 
van de witte stip in elk stemvakje gelijk (z/e afbeeldingen 6 en 7 op pagina 11 en 
12). Tijdens testen in 2012 bleek dat gebruikers van de mal de uitsparingen in de 
mal, waarbinnen een stemvakje kan worden ingekleurd, te klein vonden. 

Daarnaast wilden gebruikers meer onderscheid tussen de uitsparingen voor de 
stemvakjes bij lijsten en bij kandidaten. Om de mal te kunnen verbeteren, moest 
ook het stembiljet worden aangepast. Op het stembiljet is de witte stip in zowel de 
stemvakjes bij lijsten als bij kandidaatnummers vergroot ten opzichte van het 
oorspronkelijke ontwerp. Daarnaast is de witte stip in de stemvakjes bij de lijsten 
groter dan de witte stip in de stemvakjes bij de kandidaatnummers. 
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Stap 1: één partij kiezen. IV 


Stembiljet verkiezing van 
leden van het Europees Parlement 
op donderdag 28 november 2015 
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Afbeelding 2. Het doorontwikkelde concept model 1 (met fictieve lijsten) 


Tijdens de testen in 2012 kwam ook naar voren dat de afstand tussen de 
uitsparingen in de mal voor de kandidaatnummers te dicht op elkaar stonden. Om 
de mal te kunnen aanpassen is op het stembiljet de afstand vergroot tussen de 
stemvakjes met kandidaatnummers. Hiervoor is het kandidaatnummer links van 
de witte stip geplaatst, in een liggend stemvakje en is een nieuwe indeling 
gemaakt: 8 regels met elk 10 stemvakjes in plaats van 4 regels met 20 
stemvakjes. Het lichtrode tintvlak met de lijsten is hierdoor korter geworden. Het 
stembiljet geeft ruimte aan maximaal 28 lijsten in plaats van 36 lijsten ( zie 
afbeelding 13 op pagina 27). 

Om het lijstnummer voor slechtzienden leesbaarder te maken en voor 
laaggeletterden beter herkenbaar, is het lijstnummer vergroot en meer vrijstaand 
gezet. Hiervoor moest elk lijstkader 1 mm worden verbreed en 2 mm verhoogd, 
werd de lijstnaam rechts van het lijstnummer geplaatst en het partijlogo 





























































Doorontwikkelen en testen concept model 1 stembiljet / 29 april 2016 


7 


gecentreerd onder de lijstnaam. Voor laaggeletterden en slechtzienden zijn ook de 
kandidaatnummers vergroot. 

Voor het tellen van stemmen met OCR-techniek is elk stemvakje voorzien van een 
zwart kader en heeft het geen schaduwrand meer (z/e ook afbeelding 14 op 
pagina 28). 

Voor het tellen van stemmen met OCR-techniek zijn drie 'paskruizen' geplaatst, in 
de linker boven- en onderhoek en in de rechter onderhoek. De leesregel (de 
zwarte blokjes in de rechtermarge) die nodig was voor het tellen van stemmen 
met OMR-techniek kon vervallen (z/e ook 'Geen leesregel' op pagina 26). Door het 
wegvallen van de leesregel ontstond ruimte om de afstand tussen de lijstkaders te 
vergroten ter verbetering van de leesbaarheid van de lijsten. 

De 'snijblokjes' op de randen aan de rechterzijkant van het stembiljet zijn 
gehandhaafd. De snijblokjes zijn een controlemiddel om na te gaan of de gedrukte 
stemvakjes exact op de juiste stand staan vanaf de zijranden van het papier, zodat 
de stemvakjes precies onder de uitsparingen vallen in de mal voor blinden en 
slechtzienden. In het oorspronkelijke concept voor model 1 dienden deze tevens 
voor het elektronisch tellen van stembiljetten met OMR-techniek. 

2.2 Aangepast kandidatenoverzicht 

Op concept model 1 voor het stembiljet staan lijsten en kandidaatnummers. Op dit 
stembiljet worden geen namen van kandidaten en hun woonplaats vermeld. De kiezer 
moet een kandidaatnaam met kandidaatnummer kunnen opzoeken op het 
kandidatenoverzicht. Het overzicht wordt in het stemlokaal en in het stemhokje 
beschikbaar gesteld. Ook wordt het overzicht van kandidaten voorafgaand aan een 
verkiezing door de gemeente huis aan huis verspreid. 

Op het kandidatenoverzicht in het stemhokje staan zoveel mogelijk lijsten en kandidaten 
naast elkaar op één poster (z/e afbeelding 4 op pagina 8). De namen op dit 
kandidatenoverzicht zijn uitgevoerd in lettercorps 7,5 punten, wat niet voor alle kiezers 
leesbaar is. In het stemlokaal kan daarom nog een ander kandidatenoverzicht liggen in de 
vorm van een folder, uitgevoerd in grote letters (z/e afbeelding 5 op pagina 9). 

Het kandidatenoverzicht in de vorm van een folder is uitgevoerd op tabloid-formaat (42 X 
29 cm). Om ervoor te zorgen dat het kandidatenoverzicht leesbaar is voor ouderen en 
slechtzienden is gekozen voor een grote schreefloze letter waarin lijsten en kandidaten 
worden afgedrukt (minimaal 16 punten). Op de voorzijde van de folder staan de 
toegelaten lijsten afgedrukt, met daarachter het paginanummer waar deze lijsten te 
vinden zijn. Het lijstnummer komt overeen met het paginanummer zodat de lijsten en 
kandidaten makkelijk te vinden zijn. Ongeacht het aantal kandidaten op een lijst, is er in 
de folder per lijst één pagina gereserveerd. Bij elke lijst kan op de voorzijde en op de 
binnenpagina een logo van de betreffende lijst worden afgedrukt. 
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Overzicht van kandidaten voor de test 
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Afbeelding 3. Fragment poster kandidatenoverzicht voor het stemhokje 



Afbeelding 4. Links stemhokje met poster kandidatenoverzicht op achterwand. Rechts 
stemhokje met poster kandidatenoverzicht op achterwand en/doorlopend op rechterwand 
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Overzicht van kandidaten 

voor de testverkiezing van de leden van het 
Europees Parlement op woensdag 28 november 2015 


Welke partijen nemen deel aan de verkiezingen? 


Lijst 1 Europese Kleurenpartij.blz. 1 

Lijst 2 Planten voor het Volk.blz. 2 

<£3 Lijst 3 Europese Weermannen.blz. 3 

□SElGoed Lijst 4 NieuwGoed.blz. 4 

gEDA Lijst 5 Europese Dierenalliantie.blz. 5 

\ Lijst 6 Kruidig.blz. 6 

SÜ&ak Lijst 7 Lijst Smaak.blz. 7 

Lijst 8 Planetenpartij.blz. 8 

Lijst 9 Partij Proza en Poëzie.blz. 9 

Lijst 10 Partij Land-en waterweg.blz. 10 

ffjj Lijst 11 Partij 11 .blz. 11 

TO5HJ5T Lijst 12 Sportpartij.blz. 12 

Lijst 13 Het Verschil.blz. 13 

8SS)) Lijst 14 Nieuw Geluid.blz. 14 



Afbeelding 5. Boven kandidatenoverzicht als folder. Onder binnenpagina's van het 
kandidatenoverzicht als folder 
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2.3 Verbeterde mal met (braille)instructie 

Als hulpmiddel voor blinden en slechtzienden, om zelfstandig een stem te kunnen 
uitbrengen, zijn prototypes voor mallen ontwikkeld. Voor de inspiratie is gekeken naar 
vergelijkbare hulpmiddelen die worden gebruikt in andere landen. In het bijzonder is 
gekeken naar de mallen voor stembiljetten in Duitsland waar blinden en slechtzienden al 
kunnen stemmen met een mal. 2 

Een mal is een hoes, bijvoorbeeld van karton, met uitsparingen ter hoogte van de 
stemvakjes op het stembiljet. Het stembiljet wordt in de mal gelegd; door een 
stembureaulid of door de kiezer zelf. Met behulp van braille op de mal en/of door het tellen 
van uitsparingen zoekt de kiezer vervolgens het stemvakje van keuze en kleurt dit in door 
de uitsparing in de mal. Net als het opengevouwen stembiljet, heeft de mal rechtsboven 
een afgesneden hoekje dat aanduidt hoe het stembiljet in de mal moet worden gelegd. 

Op basis van de bevindingen van testen in 2012 met het eerder ontwikkelde ontwerp voor 
de mal (zie Rapportage van ontwerpen en testen van nieuwe concepten stembiljetten die 
elektronisch kunnen worden geteld van 16 oktober 2013) zijn twee nieuwe versies van de 
mal ontwikkeld: een mal voor blinden en een mal voor slechtzienden. 

Op de mal voor blinde kiezers staan de titel, een korte uitleg en de lijst- en kandidaat- 
nummers in braille. Verder is de mal voorzien van een voelbare lijn op elk regel met 
kandidaatnummers als hulp bij het tellen van de uitsparingen. De hoogte van de 
braillepunten blijkt voor de leesbaarheid belangrijk te zijn en is in het nieuwe ontwerp 
afgestemd op de ISO-norm (minimaal 0,5 mm). Verder is voor een goede leesbaarheid 
van de braille een papiersoort voor de mal gebruikt die niet te hard en niet te glad is (z/e 
afbeelding 6 op pagina 11). Bij de mal voor blinden hoort een aparte braille- en audio- 
instructie voor het gebruik van het stembiljet en de mal, en een auditieve variant van het 
kandidatenoverzicht. 

Voor slechtzienden en voor blinden die geen braille beheersen is een aparte mal 
ontworpen. Omdat teksten in braille op de mal veel ruimte innemen en voor slechtzienden 
de cijfers en letters ook groot en voelbaar (gepreegd) moeten worden uitgevoerd, is 
ervoor gekozen om voor beide groepen kiezers een aparte mal te ontwerpen. (Bij testen 
met een gezamenlijke mal bleken proefpersonen bij het zoeken naar de juiste uitsparingen 
door de vele informatie op de mal in de war te raken.) 

Op de mal voor slechtziende kiezers zijn de titel, korte uitleg en de lijst- en kandidaat¬ 
nummers uitgevoerd in grote zwarte voelbare letters. Om elke uitsparing voor de 
stemvakjes is een dikke zwarte rand gedrukt en onder elke regel met kandidaatnummers 
is een voelbare lijn aangebracht om de uitsparingen makkelijker te kunnen tellen 
(z/e afbeelding 7 op pagina 12). 


2 Bij het ontwerpen van de mallen is nauw samengewerkt met Manfred Fuchs van BLISTA die een 
jarenlange ervaring heeft met het ontwikkelen van mallen voor stembiljetten. In Duitsland wordt bij 
verkiezingen gebruik gemaakt van een mal. Zie www.dbsv.org (Barrierefrei Wahlen). 
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Ook voor slechtzienden is een aparte instructie voor het gebruik van het stembiljet en de 
mal gemaakt. Deze is uitgevoerd in grote zwarte schreefloze letters (z/e afbeelding 8 op 
pagina 13). Het kandidatenoverzicht op tabloid-formaat is uitgevoerd in een groot 
lettercorps (minimaal 16 punten). 3 Daarnaast zijn ook de audio-hulpmiddelen bij de mal 
en voor het overzicht van kandidaten geschikt voor slechtzienden. 

Voor beide mallen geldt dat ze voor het gebruiksgemak een minimum aan informatie 
bevatten en eenvoudig zijn uitgevoerd: karton met één vouw in de rug en net als het 
stembiljet voorzien van een afgesneden hoek om de voorzijde van het stembiljet en de 
mal te kunnen bepalen. 



Afbeelding 6. De verbeterde mal voor concept 1 voor blinden. 


3 De lettergroottes van de verschillende ontwerpen zijn afgestemd met de Centrale Bibliotheek voor 
Blinden en Slechtzienden (CBB). 
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Afbeelding 7. Boven de verbeterde mal voor concept 1 voor slechtzienden. 

Onder de oorspronkelijke mal voor blinden en slechtzienden waarmee in 2012 is getest. 
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Gebruiksaanwijzing voor 
een nieuw stembiljet met mal 


Het nieuwe stembiljet 

Vouw het stembiljet open. 

Houd de afgesneden hoek rechtsboven, 
dan ligt het stembiljet in de leesrichting. 
Het stembiljet is opgedeeld: 

• bovenaan de stemvakjes 

• onderaan de stemvakjes. 


Bij het stembiljet hooj 

Het overzicht bevat^ 

In het overzicht; 
op wie uw 


uiksaanwijzing voor 
7 en nieuw stembiljet met m; 


Het nieuwe stembiljet 

Vouw het stembiljet open. 
Houd de afgesneden hoek red 
\dan ligt het stembiljet in de l< 
(t stembiljet is opgedeel^/ 
fenaan de stemvc 


Afbeelding 8. Fragment gebruiksinstructie bij mal voor slechtzienden 
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3 Testen 

Het doorontwikkelde concept model 1 stembiljet is met verschillende groepen 
proefpersonen getest om na te gaan of zij met het stembiljet overweg kunnen. Er is een 
test gehouden parallel aan gemeentelijke herindelingsverkiezingen (op 18 november 2015) 
waarbij mensen die het stembureau verlieten werd gevraagd om mee te doen aan de test. 
Daarnaast zijn aparte testen gehouden met blinde, slechtziende en laaggeletterde 
proefpersonen. 

3.1 Test op 18 november 2015 

Het concept model 1 werd getest parallel aan de gemeentelijke herindelingsverkiezingen 
op 18 november 2015 in Bussum, Muiden en Naarden (Gooise Meren) en in Edam, 
Volendam en Zeevang (Edam-Volendam). In deze gemeenten zijn acht testlocaties nabij 
een stemlokaal ingericht zodat proefpersonen uitgenodigd konden worden voor 
deelname aan de test. De testbiljetten bevatten dezelfde lijsten en kandidaten als de 
stembiljetten van de herindelingsverkiezing in de betreffende gemeente 
(z/e afbeeldingen 10 en 11 op pagina 15 en 16). 

Aanbieding van het testbiljet aan de proefpersonen 

De proefpersonen hebben voorafgaand aan de test geen voorbeeld van het testbiljet 
gezien, en geen informatie gekregen over de wijze waarop er een keuze op kan worden 
gemaakt. Op de testlocatie lagen folders met uitleg ter inzage (z/e afbeelding 9), maar 
deze werden niet expliciet aangeboden aan de proefpersonen. De proefpersonen kregen 
aan de hand van een testbiljet kort uitleg van de tester over het maken van een keuze op 
het testbiljet. Vervolgens kregen ze een testbiljet met de vraag er een keuze op te maken 
alsof het voor de herindelingsverkiezing was die op die dag plaatsvond. De proefpersonen 
kregen geen gelegenheid om eerst te oefenen met het testbiljet. Net als bij een verkiezing 
konden proefpersonen eenmaal een nieuw biljet vragen als men zich vergist had bij het 
invullen. Dat deze mogelijkheid bestond is niet expliciet aan de proefpersonen verteld. Het 
is dus mogelijk dat proefpersonen zich er niet van bewust zijn geweest dat een gemaakte 
fout kon worden hersteld. 


Als u gaat stemmen... 


Hoe stemt u geldig? 


U heeft van de gemeente 
een overzicht van kandidaten 
ontvangen. 

Zoek hierin de partij en de 
kandidaat op wie u wilt stemmen. 

Bij de kandidaat staat een nummer, 
het kandidaatnummer. Dat heeft u 
nodig als u gaat stemmen. 

In het stemlokaal kuntu het nummer 
van de kandidaat ook opzoeken. 


Zo! 

Kies één partij 
en één kandidaat¬ 
nummer. 


Stembiljet 

partijen 

pmpmpmpm 

□ PZp-DO 

kandidaatnummers 

acaatiQa 
DBB LSI m ns 

ca ca CBjg] :a ca 
n n rafes-'éo m 


Of zo! 

Kies één partij. 
Daarmee kiest u 
de eerste kandidaat 
van die partij. 


Stembiljet 

partijen 

pzupt Pmpm 

pmpmpmem 

pm?m 

kandidaatnummers 

munimmra w 
ca ca ca cqi cai ca 
nnnnnn 
to an m sa m 


Afbeelding 9. Twee 
pagina's uit de folder met 
uitleg over maken van 
keuze op het concept 
stembiljet 
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Afbeelding 10. Testbiljet verkiezing voor leden van de Gemeenteraad 
Gooise Meren op 18 november 2015 
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de Gemeenteraad Edam-Volendam op 18 november 2015 


Proefpersonen op 18 november 2015 

Er zijn tijdens de test 2.191 testbiljetten ingeleverd door proefpersonen. Onder de 
proefpersonen waren 1.072 mannen en 1.089 vrouwen; in 30 gevallen zijn de gegevens 
van een proefpersoon abusievelijk niet geregistreerd. Tabel 1 laat de leeftijdsopbouw zien. 


Leeftijd 

proefpersonen 

18 t/m 65 

66 t/m 70 

71 t/m 80 

81 en ouder 

onbekend 

Aantal 

proefpersonen 

1.453 

240 

339 

129 

30 

Percentage 

67% 

11% 

15% 

6% 

1% 


Tabel 1. Leeftijdsopbouw van de proefpersonen op 18 november 2015 
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Testresultaten met concept stembiljet 

De testresultaten laten een duidelijke afname van ongeldige keuzes zien vergeleken met 
eerdere testen met varianten van concept model 1. Het concept voor een nieuw stembiljet 
is in de jaren 2012 - 2015 in enkele varianten en onder verschillende omstandigheden 
getest (zie Rapportage van ontwerpen en testen van nieuwe stembiljetten die elektronisch 
kunnen worden geteld , 16 oktober 2013). Tabel 2 bevat een overzicht van de 
testresultaten uit 2012 - 2015, waarna op pagina 18 de kenmerken van de verschillende 
testen worden samengevat. 

Bij de test van 18 november 2015 was 0,7% van de testbiljetten ongeldig ingevuld 
doordat er geen lijst was gekozen, of doordat twee lijsten waren gekozen. De verwachting 
is dat dit percentage verder omlaag kan door nog explicieter te maken dat de kiezer voor 
een geldige stem één keuze voor een lijst moet maken. In hoofdstuk 5 is een voorstel 
uitgewerkt voor verbetering van concept model 1 op dit punt. 

Circa 1% van de proefpersonen maakte een keuze voor een niet-bestaande kandidaat. 
Hierbij moet worden aangetekend dat proefpersonen bij een test minder waarde hechten 
aan wat ze kiezen dan bij een verkiezing. Diverse proefpersonen hebben aan de tester 
gemeld dat ze geen specifieke kandidaat hadden gekozen, maar willekeurig iets hadden 
ingevuld. Dat dit relatief vaak tot een keuze op een niet-bestaande kandidaat kan leiden, 
is al gesignaleerd bij de test van november 2012, met kiezers in het buitenland. Bij deze 
test maakte 14% van de proefpersonen een keuze voor een niet-bestaande kandidaat. Dat 
was niet het geval toen alle kiezers uit het buitenland op concept model 1 van het 
stembiljet stemden voor de verkiezing van de leden van het Europees Parlement op 22 
mei 2014. 4 Bijna alle uitgebrachte stemmen waren toen geldig. Nog nooit was het aantal 
ongeldige stemmen zo gering (0,23%); een halvering ten opzichte van het aantal 
ongeldige stemmen bij de vorige verkiezing waaraan de kiezers vanuit het buitenland 
konden deelnemen. 

Het vermoeden dat proefpersonen tijdens de test een willekeurig kandidaatnummer kozen, 
wordt nog versterkt doordat diverse proefpersonen signaleerden dat zij het 
kandidatenoverzicht in het teststemhokje niet goed hadden kunnen lezen. De letters waren 
voor hen te klein. Op de testlocatie was een groter uitgevoerde variant van het 
kandidatenoverzicht beschikbaar, maar deze werd alleen aan de proefpersonen 
aangeboden als ze vóór indiening van het testbiljet aangaven het kandidatenoverzicht niet 
te kunnen lezen. Bij deze test is niet systematisch onderzocht hoeveel proefpersonen 
moeite hadden met het lezen van het kandidatenoverzicht in het stemhokje. Mogelijk 
hebben meer proefpersonen hier last van ondervonden. Dit kan er ook toe hebben 
bijgedragen dat men een willekeurig (en daardoor wellicht niet-bestaand) 
kandidaatnummer koos. In hoofdstuk 5 is een voorstel uitgewerkt voor een 
kandidatenoverzicht waarmee dit probleem kan worden opgelost. 


4 Zie kamerbrief d.d. 12 september 2014, kenmerk 2014-0000471473. Evaluatie 
gemeenteraadsverkiezingen en de verkiezing van het Europees Parlement. 
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Overzicht testresultaten 2012 - 2015 met concept stembiljet 

Test 

Geldig: 

- lijst en 

kandidaat 

- alleen lijst 

Geldig: 

alleen lijst 

Ongeldig 

Niet-bestaande 

kandidaat 

Geen lijst, 

wel kandidaat 

Meerdere 

lijsten 

Een lijst, 

meerdere 

kandidaten 

mrt-apr 2012, 

n = 1.462 

99,4% 

0,07% 

0,6% 

niet bekend 

0,4% 

0,1% 

0,1% 

12 sept. 2012 

n = 2.707 

97,3% 

niet bekend 

2,7% 

0,3% 

1,7% 

0,4% 

0,3% 

21 nov. 2012 

n = 7.709 

93,8% 

3,9% 

6,2% 

3% 

2,6% 

0,3% 

0,3% 

nov. 2012 

n = 3.606 

85,8% 

0,1% 

14,2% 

14% 

0,06% 

0,1% 

0,06% 

18 nov. 2015 

n = 2.191 

98,2% 

18,2% 

1,8% 

1,04%* 

0,68% 

0,04% 

- 


* In 39% van de gevallen betrof dit een keuze voor het laatste kandidaatnummer op het testbiljet. 


Tabel 2. Resultaten van testen met concept stembiljet > in de periode 2012 - 2015 


Kenmerken van de uitgevoerde testen in 2012 - 2015 

Aan de eerste test, in maart/april 2012, deden 1.462 proefpersonen mee. Deze test werd 
georganiseerd buiten verkiezingen om met proefpersonen die ingeschreven stonden bij 
een bureau van waaruit ze, tegen betaling, meededen aan marktonderzoeken. Vanuit deze 
achtergrond waren deze proefpersonen mogelijk gemotiveerder om te luisteren naar de 
uitleg over het testbiljet, en voerden zij hun taak misschien geconcentreerder en minder 
gehaast uit dan proefpersonen gemiddeld doen tijdens een test op een verkiezingsdag. 
Deze proefpersonen kregen in groepjes van 6 a 8 mensen uitleg over het maken van een 
geldige keuze op het stembiljet door één keuze te maken voor een lijst en vervolgens één 
keuze voor een kandidaat, waarna ze individueel in een stemhokje een keuze maakten op 
het testbiljet. Het testbiljet bevatte 11 lijsten die meededen aan de verkiezing voor de 
Tweede Kamer in 2010 plus 3 fictieve lijsten. 

Op 12 september 2012 vond een test plaats parallel aan verkiezingen voor leden van de 
Tweede Kamer. Er namen 2.707 proefpersonen deel aan wie bij het verlaten van het 
stembureau was gevraagd of ze mee wilden doen aan een test met een nieuw soort 
stembiljet. Deze proefpersonen deden vrijwillig mee en kregen geen vergoeding. 

Elke proefpersoon kreeg individueel een korte uitleg van de tester over het maken van 
een geldige keuze op het stembiljet door één keuze te maken voor een lijst en vervolgens 
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één keuze voor een kandidaat, waarna de proefpersoon in een stemhokje een keuze 
maakte op het testbiljet. De testbiljetten bevatten 11 lijsten die meededen aan de 
verkiezing voor de Tweede Kamer in 2010 plus 3 fictieve lijsten. 

Op 21 november 2012 vond een test plaats parallel aan gemeentelijke 
herindelingsverkiezingen. Er namen 7.709 proefpersonen deel aan wie bij het verlaten van 
het stembureau was gevraagd of ze mee wilden doen aan een test met een nieuw soort 
stembiljet. De testopzet was gelijk aan die van 12 september 2012, zoals hierboven is 
beschreven. 

In november 2012 is een test uitgevoerd onder personen die zich eerder bij de gemeente 
Den Haag hadden geregistreerd om vanuit het buitenland te kunnen stemmen bij de 
verkiezingen voor de leden van de Tweede Kamer en voor de leden van het Europees 
Parlement. Deelnemers kregen het concept stembiljet per e-mail toegestuurd. Ze moesten 
het testbiljet zelf printen en in een eigen envelop terugsturen. De testbiljetten bevatten 
14 fictieve lijsten. Uitleg over het concept stembiljet werd gegeven in de begeleidende 
e-mail en was, aangevuld met 'veelgestelde vragen', beschikbaar op een website. 
Daarnaast konden deelnemers per e-mail en telefonisch terecht bij een helpdesk. 

Er werden 3.606 testbiljetten retour ontvangen. 

De test op 18 november 2015 vond plaats parallel aan gemeentelijke 
herindelingsverkiezingen. Er namen 2.191 proefpersonen deel aan wie bij het verlaten van 
het stembureau was gevraagd of ze mee wilden doen aan een test met een nieuw soort 
stembiljet. Ook deze proefpersonen deden vrijwillig mee en kregen geen vergoeding. De 
proefpersonen kregen individueel een korte uitleg waarin de tester het maken van keuzen 
voor een lijst en een kandidaat toelichtte, alsmede het maken van een keuze voor de 
eerste kandidaat van een lijst door alleen die lijst te kiezen. Daarna maakte de 
proefpersoon in een stemhokje een keuze op het testbiljet. De testbiljetten bevatten 
dezelfde lijsten en kandidaten als de stembiljetten van de herindelingsverkiezing die op die 
dag werd gehouden. 


3.2 Test met blinde en slechtziende proefpersonen 

In oktober - november 2015 zijn het aangepaste concept model 1 en de bijbehorende mal 
getest met 42 blinde en slechtziende proefpersonen. De mal is getest in twee varianten: 
een mal mét, en een mal zónder braille (z/e de afbeeldingen 6 en 7 op pagina 11 en 12). 

De test werd afgenomen in woonaccommodaties voor mensen met een visuele beperking. 
De tester gaf iedere proefpersoon individueel uitleg over de test, over het concept model 
stembiljet en de mal. De proefpersonen konden zelf naar behoefte een braille instructie, 
een tekstuele instructie op papier of een audio-instructie voor het gebruik van de mal en 
het testbiljet raadplegen. Vervolgens kreeg de proefpersoon het kandidatenoverzicht 
(auditief of op papier) aangereikt en werd de proefpersoon gevraagd een keuze te 
maken voor een partij en een kandidaat, en deze keuze kenbaar te maken. 

De proefpersoon kreeg dan eerst de gelegenheid een oefentestbiljet in te vullen met 
behulp van de mal. Als het nodig was, gaf de tester daarbij aanwijzingen. Nadat de 



Doorontwikkelen en testen concept model 1 stembiljet / 29 april 2016 


20 


proefpersoon het oefentestbiljet had ingevuld, koppelde de tester terug of dat goed was 
gedaan, en zo nee waarom niet. Daarna kreeg de proefpersoon een nieuw testbiljet in de 
mal aangereikt met de vraag zonder hulp zijn/haar keuze te maken op het testbiljet, bij 
de tester aan tafel. 

Het testbiljet bevatte de lijsten en kandidaten van de verkiezing van de leden van het 
Europees Parlement 2014 (z/e afbeelding 12 op pagina 21). 

Proefpersonen 

Er deden 42 proefpersonen mee aan de test, onder wie 16 mannen en 26 vrouwen. 

Van de 42 proefpersonen waren 35 personen blind. In deze groep beheersten 25 personen 
braille. De overige 7 proefpersonen waren slechtziend; dat wil zeggen dat zij zonder een 
hulpmiddel (anders dan een bril of lenzen) bij normale verlichting niet in staat waren om 
zelfstandig op het huidige stembiljet een keuze te maken. Zij hadden een visus tussen de 
0,05 en 0,3 of een gezichtsveld tussen 10 en 30 graden. Tabel 3 laat de leeftijdsopbouw 
van de proefpersonen zien. 


Leeftijd 

proefpersonen 

18 t/m 50 

51 t/m 65 

66 en ouder 

Aantal ppn 

11 

7 

24 

Percentage 

26% 

17% 

57% 


Tabel 3. Leeftijdsopbouw van de blinde en slechtziende proefpersonen 

Testresultaten 

Alle blinde en slechtziende proefpersonen die de mal met braille gebruikten, vulden het 
testbiljet geldig in, en reageerden enthousiast op dit hulpmiddel dat hen in staat stelt 
zelfstandig een keuze te maken op het concept stembiljet. Blinden en slechtzienden die 
geen braille beheersen, konden in de meeste gevallen zelfstandig een geldige keuze 
maken met behulp van de mal zonder braille. Voor enkele slechtzienden die geen braille 
beheersten, was het niet mogelijk zelfstandig een geldige keuze te maken. 


Variant van de mal 

Aantal 

proef¬ 

personen 

Geldig 

ingevuld 

Ongeldig 

ingevuld 

met braille 

25 

25 

0 

zonder braille 

17 

14 

3 


Tabel 4. Testresultaten van de mal mét en zonder braille 
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Stap 1: één partij kiezen. Ma*4«n«mtstipzwart 


Stembiljet verkiezing van 
leden van het Europees Parlement 
op donderdag 28 november 2015 


□ 

1 CDA - Europas* 
Volkspartij 

O 

_ l«»*>»rtn«iirrn _ 

D 

C Domorraton 06 

^ (D66) • A1DC 

D 

g ArtlktlSO 

tf 

23 Oo Groorton 

iDe Groenen 

D 

27 ikMosvooroorlijtr.ou 




9 PVV (Partij voor de 
Vrijheid) 


£ GROENUNKS 

GROENLINKS 

|- t .,. W n» 1 n.,,„l - 




9 


24 AntlEU(ro) Partij 




2 g Partij voor do Dloron 



2: één nummer kiezen van een kandidaat. 


Maak één witte stip zwart 




|4ÏQ| |42Q| |430| ^401 |4SOl |46Q| |470| 


L J 

Afbeelding 12. Testbiljet met lijsten van verkiezing leden Europees Parlement 2014 


Alle 35 blinde proefpersonen maakten geldige keuzes op het testbiljet. Door 
9 proefpersonen werd bewust alleen een lijst gekozen (6 maal door een proefpersoon die 
braille beheerste, 3 maal door een proefpersoon die geen braille beheerste). 


35 blinden 

Geldig 

Geldig, 

alleen lijst 

Ongeldig 

25 met braille 

25 

6 

0 

10 zonder braille 

10 

3 

0 


Tabel 5. Testresultaten van de blinde proefpersonen 
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Van de 7 slechtziende proefpersonen maakten 2 personen een ongeldige keuze: een van 
hen koos twee lijsten. Een slechtziende proefpersoon koos een niet-bestaande kandidaat. 
Eén proefpersoon koos twee niet-bestaande lijsten. Deze laatste proefpersoon kon zich 
niet goed oriënteren op de uitsparingen in de mal voor slechtzienden en koos twee 
willekeurige uitsparingen; dat brengt de kans op een keuze voor niet-bestaande lijsten 
en/of kandidaten met zich mee. 


7 slechtzienden, 

geen braille 

Geldig 

Geldig 

alleen lijst 

Ongeldig 

Meerdere 

lijsten 

Niet-bestaande 

kandidaat of lijst 

Aantal 

4 

4 

3 

1 

2 


Tabel 6. Testresultaten van de slechtziende proefpersonen 

Proefpersonen die braille beheersen, bleken zelfstandig, zonder hulp met de mal overweg 
te kunnen en er een geldige keuze op het testbiljet mee te maken. De 25 proefpersonen 
die de mal met braille gebruikten gaven positieve reacties als: 'Goed, prettig'. 'Hier kan ik 
mee werken'. 'Super makkelijk.' 'Heel leuk.' 'Mag meteen ingevoerd worden.' 'Ziet er mooi 
uit'. 'Hiermee is ons probleem opgelost.' 'Geeft me een stukje zelfstandigheid terug'. 

De mal zonder braille werkte goed voor mensen die altijd slechtziend zijn geweest, maar 
was lastig voor mensen die door ouderdom een visuele beperking hebben gekregen. De 
laatsten hebben vaak onvoldoende gevoeligheid in hun vingertoppen om de uitsparingen 
goed te voelen, en hebben vaak moeite met oriëntatie tijdens het tellen van de 
uitsparingen. Deze groep laat veelal merken niet (meer) zelf te gaan stemmen. 

Bij de proefpersonen die de mal zonder braille gebruikten, zeiden vier personen: 'Prima te 
doen!' Twee personen merkten op: 'Ik kan de uitsparingen niet goed voelen'. Twee 
proefpersonen maakten de volgende kritische opmerking: 'De mal is prettig, alleen zijn de 
kandidaatnummers wat lastig om te vinden. Een opstaand randje langs de uitsparingen 
en/of dikker materiaal zou fijn zijn.' 


3.3 Test met laaggeletterde proefpersonen 

Het concept stembiljet is in oktober-november 2015 getest met proefpersonen die 
laaggeletterd zijn om na te gaan of zij met het concept stembiljet overweg kunnen. 

De test is afgenomen bij deelnemers aan cursussen basiseducatie op drie regionale 
opleidingencentra (ROC's). De testen vonden plaats onder cursustijd, op (een dependance 
van) het ROC of in een wijk- of cultureel centrum. De proefpersonen bevonden zich rond 
niveau 1 van taalvaardigheid. Dit is het niveau van laaggeletterdheid dat de Stichting 
Lezen & Schrijven gebruikt. Op dit niveau beschikken mensen over een elementair 
basisvocabulaire, en kunnen eenvoudige informatie uit korte zinnen en teksten halen. 
Niveau 1 is vergelijkbaar met het lF-referentieniveau van de commissie-Meijerink (in: 
Over de drempels met taal en rekenen , 2008). 
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De tester gaf elke proefpersoon individueel uitleg over het nieuwe stembiljet. De 
proefpersonen konden zelf een folder met uitleg of een digitale oefenvoorziening 
bekijken. De animo om deze middelen te bekijken was laag bij de proefpersonen; ze 
zeiden zoiets nooit uit zichzelf te bekijken. Daarna legde de tester twee voorbeelden van 
ingevulde stembiljetten aan proefpersoon voor (waarvan een geldig en een ongeldig 
ingevuld) en vroeg de proefpersoon om aan te geven of de stembiljetten geldig of ongeldig 
waren ingevuld en waarom. Als een antwoord van de proefpersoon niet klopte, legde de 
tester uit wat er niet klopte en waarom. 

De tester reikte proefpersoon vervolgens het kandidatenoverzicht aan en vroeg de 
proefpersoon een keuze te maken voor een partij en een kandidaat, en deze keuze 
kenbaar te maken. De tester benadrukte dat proefpersoon niet ging stemmen, maar een 
teststem uitbracht. De proefpersoon kreeg het testbiljet en potlood aangereikt en 
maakte zijn/haar keuze op het testbiljet, bij de tester aan tafel. 

Het testbiljet bevatte de lijsten en kandidaten van de verkiezing van de leden van het 
Europees Parlement 2014 (z/e afbeelding 12 op pagina 21). 

Proefpersonen 

Er deden 41 proefpersonen mee aan de test, onder wie 18 mannen en 23 vrouwen. 

Tabel 7 laat de leeftijdsopbouw van de proefpersonen zien. 


Leeftijd 

proefpersonen 

18 t/m 50 

51 t/m 65 

66 en ouder 

Aantal 

proefpersonen 

22 

16 

3 


Tabel 7. Leeftijdsopbouw van de laaggeletterde proefpersonen 

Testresultaten 

Van de 41 proefpersonen maakten 38 proefpersonen een geldige keuze op het concept 
model 1. Twaalf van hen (29%) kozen een lijst en geen kandidaat (geldig). Drie van de 41 
proefpersonen stemden ongeldig doordat ze geen lijst kozen, maar alleen een 
kandidaatnummer. 

Vergeleken met het huidige stembiljet, blijkt concept model 1 minstens even toegankelijk 
voor de groep laaggeletterden. Bij een test in februari 2016 werd aan 30 laaggeletterde 
proefpersonen gevraagd een keuze te maken op het huidige stembiljet. Van de 
30 proefpersonen vulden 5 personen het huidige stembiljet ongeldig in. In tabel 8 op 
pagina 24 zijn deze resultaten te zien. 
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Laaggeletterde 

proefpersonen 

Geldig 

Ongeldig 

(geen lijst) 

41 x concept model 1 

(test in okt-nov 2015) 

38 

3 

30 x huidig stembiljet 

(test in februari 2016) 

25 

5 


Tabel 8. Testresultaten van de laaggeletterde proefpersonen 

19 laaggeletterde proefpersonen (46%) maakten uit zichzelf opmerkingen waaruit af te 
leiden viel dat ze bij een verkiezing niet zouden gaan stemmen (de tester stelde niet 
expliciet de vraag of men bij een verkiezing gaat stemmen). 

Zeven proefpersonen (17%) maakten opmerkingen waaruit af te leiden viel dat zij de 
uitleg over het testbiljet niet (volledig) begrepen. 

Ruim de helft van de proefpersonen (60%) had uitgebreide mondelinge uitleg nodig, maar 
begreep daarna wel hoe zij een geldige keuze konden maken op het testbiljet. 
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4 Test elektronisch tellen concept model 1 stembiljet 

In 2013 zijn testen uitgevoerd waarbij drie verschillende concepten stembiljetten 
elektronisch werden geteld (zie: Rapportage van ontwerpen en testen van nieuwe 
concepten stembiljetten die elektronisch kunnen worden geteld van 16 oktober 2013). 
Destijds werden de stembiljetten geteld met Optical Mark Recognition (verder: OMR). 
Omdat de commissie Elektronisch stemmen en tellen in het stemlokaal (commissie Van 
Beek) Optical Character Recognition (verder: OCR) mogelijk acht voor het elektronisch 
tellen van stembiljetten waarop kiezers een keuze hebben gemaakt met een stemprinter, 
heeft het ministerie van BZK gevraagd om ook een test uit te voeren met het elektronisch 
tellen met OCR-techniek van het doorontwikkelde concept model 1 stembiljet. 

4.1 Elektronisch tellen met OMR en OCR 

OMR is een techniek die bijvoorbeeld wordt toegepast voor het beoordelen van antwoorden 
op meerkeuzevragen. Bij deze techniek worden stembiljetten in stapels vanuit een 
invoerbak automatisch door een scanner gevoerd en geanalyseerd door OMR- 
programmatuur. De OMR-techniek scant de aan- of afwezigheid van markeringen op 
specifieke posities op het biljet, de zogeheten responsposities (bijvoorbeeld door kiezers 
ingekleurde stemvakjes). OMR-techniek kan stembiljetten met een geldige, ongeldige of 
niet-eenduidig te tellen stem herkennen, tellen en van elkaar scheiden. Een instelbaar 
printmechanisme als onderdeel van de scanner, maakt het mogelijk ieder geteld stembiljet 
te voorzien van informatie (printregel) waaruit blijkt hoe de OMR-techniek het stembiljet 
geteld heeft. 

Bij toepassing van OCR-techniek maakt de scanner een afbeelding van een stembiljet. 
Vervolgens wordt de afbeelding digitaal opgeslagen op een computer, waar OCR- 
programmatuur de afbeelding van het stembiljet analyseert. Die analyse houdt in dat 
wordt nagegaan of op vooraf gedefinieerde posities (zoals stemvakjes) zwarte pixels 
voorkomen en hoeveel pixels dat zijn. Het verschil met de OMR-techniek is dat OCR niet 
alleen de aan-en afwezigheid van markeringen kan detecteren, maar ook informatie zoals 
cijfers of letters zou kunnen interpreteren. 

Het tellen van het concept model 1 stembiljet met OCR-techniek 

Als stembiljetten met OCR-techniek worden geteld, zullen de biljetten gescand moeten 
worden. De stembiljetten kunnen in stapels door een scanner worden gevoerd. Gevouwen 
biljetten moeten voorafgaand worden opengevouwen. Een stapel stembiljetten wordt in 
een invoerbak van een scanner met doorvoermechanisme en sensoren gelegd. Het 
doorvoermechanisme pakt de stembiljetten in de invoerbak vel voor vel op, voert ze door 
de scanner, langs het printmechanisme en legt de biljetten vervolgens in de uitvoerbak. 

De sensoren meten of stembiljetten scheef worden ingevoerd, vast komen te zitten, of 
dubbel worden doorgevoerd. In die gevallen behoort het apparaat te stoppen. 
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Nadat een stembiljet is gescand, wordt het stembiljet naar een uitvoerbak geleid. Tijdens 
de in 2015 uitgevoerde test werd gebruik gemaakt van twee uitvoerbakken: één voor 
stembiljetten waarop met OCR-techniek een geldige stem was gedetecteerd en één voor 
alle andere mogelijke situaties. Als een stembiljet elektronisch was geteld en naar een 
uitvoerbak werd gevoerd, dan printte een printmechanisme een regel op het stembiljet 
met de informatie waaruit bleek wat er elektronisch was geteld (zie "Het telresultaat 
afdrukken in een printregel' op pagina 28). 

Geen leesregel 

Anders dan bij het tellen met OMR-techniek hoeft bij toepassing van OCR het stembiljet 
geen leesregel te bevatten (de zwart gedrukte blokjes in de marge van het stembiljet) 

(z/e afbeelding 1 op pagina 5). Wel moeten op stembiljetten tekens worden opgenomen 
waarmee de scanner de positie van de afbeelding van het stembiljet op het papier kan 
bepalen. Bijvoorbeeld paskruizen. Het gaat om minimaal drie paskruizen verspreid over de 
pagina zodat de scanner vanaf die paskruizen kan bepalen waar de vooraf gedefinieerde 
posities staan (zie hoofdstuk 2). 

Bij het tellen met OCR-techniek wordt van elke digitale afbeelding van een stembiljet 
nagegaan of op vooraf gedefinieerde posities zwarte pixels voorkomen of niet. Afhankelijk 
van de toegepaste OCR-techniek wordt of alleen op de positie van een stemvakje 
gemeten, of wordt de gehele afdruk van een stembiljet op zwarte pixels gescand (tijdens 
de test zijn beide technieken toegepast). 

Voor het tellen met OCR-techniek is het van belang dat de stemvakjes onderling op een 
vaste afstand staan van elkaar. Het maakt daarbij niet uit hoe groot die tussenliggende 
afstand is. Echter omdat het nieuwe stembiljet ook geschikt moet zijn voor gebruik in een 
mal voor blinde en slechtziende kiezers is de afstand tussen de stemvakjes hierop 
afgestemd en vastgesteld. Afbeelding 13 op pagina 27 toont het moedervel van het 
concept stembiljet. Het moedervel bevat alle voorgedrukte (stem)vakjes op vaste posities 
zodat deze corresponderen met de gaten in de mal voor blinde en slechtziende kiezers en 
bevat alle generieke elementen, zoals stemvakjes en paskruisen van het stembiljet voor 
het instellen van OCR-techniek. 

Met zwart potlood rode stemvakjes inkleuren 

OCR-techniek gaat na of in de witte stip van een stemvakje zwarte pixels staan. Dat 
betekent dat bij het uitbrengen van een stem de kiezer de witte stip in een stemvakje 
moet inkleuren. Inkleuren kan met pen of met potlood en in verschillende kleuren, maar 
voor een optimale meting heeft het inkleuren van een stemvakje met zwart de voorkeur. 
Afhankelijk van de toegepaste OCR-techniek is voor een optimale meting van vaste 
posities witruimte nodig rondom de te detecteren pixels en/of is het noodzakelijk dat een 
zwart kader met een lijndikte van circa 0,5 mm rondom de stemvakjes wordt afgedrukt 
(z/e afbeelding 14 op pagina 28). Op het concept stembiljet is die witruimte gecreëerd 
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Stap 1: één partij kiezen. 


Maak één witte stip zwart. 


Stembiljet verkiezing van 
leden van het Europees Parlement 
op donderdag 28 november 2015 


□ Lijstnaam maximaaiX 
± vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 


□ 2 Lijstnaam maximaaiX 
^ vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 


□ O Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 


□ A Lijstnaam maximaaiX 
^ vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 


□ XËLijstnaam maximaaiX 
J vijfendertig tekens en 
maximaal drie regels 


□ Z Lijstnaam maximaaiX 
V vijfendertig tekens en 
maximaal drie regels 


□ 7 Lijstnaam maximaaiX 
' vijfendertig tekens en 
maximaal drie regels 


□ O Lijstnaam maximaaiX 
° vijfendertig tekens en 
maximaal drie regels 


logo 

gecombineerd met lijst... 

Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ lO Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 


logo 

gecombineerd met lijst... 

□ IA Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 


logo 

gecombineerd met lijst... 

□ 11 Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 1 C Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 


logo 

gecombineerd met lijst... 

□ |2 Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst ... 

□ Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 




logo 

gecombineerd met lijst... 

Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 21 Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 2C Lijstnaam maximaaiX 
^ J vijfendertig tekens en 
maximaal drie regels 


logo 

gecombineerd met lijst... 

Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 22 Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 2^ Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 


logo 

gecombineerd met lijst... 

Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 2*3 Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 27 Lijstnaam maximaaiX 
' vijfendertig tekens en 
maximaal drie regels 


logo 

gecombineerd met lijst... 

□ 2f) Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 2/i Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 

logo 

gecombineerd met lijst... 

□ 2Q Lijstnaam maximaaiX 
vijfendertig tekens en 
maximaal drie regels 





logo 

gecombineerd met lijst... 


logo 

gecombineerd met lijst... 


logo 

gecombineerd met lijst... 


logo 

gecombineerd met lijst... 


ÖfiStap 2: één nummer kiezen van een kandidaat. Maak één witte stip zwart. 
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Afbeelding 13. Moedervel met alle stemvakjes van het concept model 1 stembiljet 
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door de stemvakjes in rood af te drukken en te voorzien van een zwart kader. De rode 
kleur, die wordt opgebouwd uit de drukkleuren magenta en yellow, betreft een 
zogenaamde 'blinde kleur', die tijdens het scannen kan worden weggefilterd (Een andere 
blinde kleur is cyaan.) Tijdens de test is gebruik gemaakt van roodfilters. 


□ 

□ 

ra 

o 

1 Ö 


Afbeelding 14: Links de stemvakjes van het oorspronkelijke 
concept stembiljet. Rechts de stemvakjes met zwart kader op 
het doorontwikkelde concept stembiljet 


Het telresultaat afdrukken in een printregel 

Om te kunnen controleren of een stembiljet met OCR-techniek is geteld en hoe het is 
geteld, kan tijdens het scannen het resultaat van het tellen van een stembiljet op dat 
betreffende biljet worden afgedrukt: een zogenaamde 'printregel'. De printregel kan 
informatie bevatten over wat OCR-techniek geteld heeft (z/e afbeelding 15). 

Tijdens de test werd de printregel op de achterzijde van het stembiljet geprint. Elke regel 
moest de volgende informatie bevatten: een batchnummer, het volgnummer van de 
getelde stembiljetten en de code voor de getelde stem (een combinatie van het nummer 
van de lijst en het nummer van de kandidaat). Als de scanner niet eenduidig kon 
vaststellen wat er op het stembiljet stond, moest in de printregel de code XX-XX worden 
geprint. Was het stembiljet blanco, dan werd de code 00-00 geprint. 


ftI-21 /BB44/KK - XX 


batch volgnummer code stem niet vastgesteld 

ft 2 - Z I /8 3 6 2 /8 0 - © 0 


batch volgnummer code blanco 

Ai-2t/@385/85-00 


batch volgnummer code lijst/geen kandidaat 

m -2i/0II0/08-i5 


batch volgnummer code lijst/en kandidaat 


Afbeelding 15: Voorbeelden van printregels 
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Testopstellingen 

De test werd uitgevoerd met drie typen OCR-apparatuur met verschillende grootte aan 
invoercapaciteit en uiteenlopende scan- en doorvoersnelheden. Een testopstelling bestond 
uit: een scanner met een invoerbak, twee uitvoerbakken (bak A en bak B) en een 
instelbare printkop, een computer met OCR-software en een aparte printer voor het 
printen van het telresultaat. 

4.2 Test elektronisch tellen van concept model 1 met OCR-techniek 

Om na te gaan of het concept model 1 stembiljet met OCR-techniek geteld zou kunnen 
worden zijn de volgende batches 5 stembiljetten samengesteld en gescand: 

Circa 2.000 stembiljetten verdeeld over drie batches, afkomstig van de test die is 
gehouden op 18 november 2015. Deze stembiljetten zijn voorzien van een vouw en 
zijn voorafgaand aan het elektronisch tellen uitgevouwen en in de leesrichting gelegd. 
Circa 2.500 stembiljetten verdeeld over vier batches, geprepareerd door willekeurige 
personen die op meerdere stembiljetten verschillende keuzes hebben gemaakt. 

De biljetten bevatten casussen die in praktijk voor zouden kunnen komen. 

Bijvoorbeeld: stemvakjes die rood zijn ingekleurd, of omcirkeld zijn of met een pijl 
aangeduid, of die met potlood heel licht zijn ingekleurd of extra donker, of stemvakjes 
die zijn aangekruist, aangevinkt of met een lichte potloodkrabbel of stipje zijn 
gemarkeerd. Ook zijn er stembiljetten geprepareerd waarop geen lijst is ingevuld, 
maar wel een kandidaat, of waarop twee lijsten zijn ingevuld of twee kandidaten, en 
stembiljetten die blanco zijn. 

Resultaten 

Elke batch stembiljetten werd drie keer gescand en elektronisch geteld, elke keer op een 
andere testopstelling. Bij elke telling behoorde het stembiljet op de achterzijde opnieuw te 
worden voorzien van een printregel. In tabel 9 is te zien hoeveel stembiljetten zijn 
doorgevoerd en hoe de verschillende stembiljetten elektronisch zijn geteld. Gebleken is dat 
het concept model 1 stembiljet met OCR-techniek elektronisch kan worden geteld. 


5 


Elke batch bevatte tussen de 500 en 750 stembiljetten 
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Aantallen met OCR-techniek getelde concept stembiljetten 

Wijze waarop op het stembiljet 
een keuze is gemaakt. (Tenzij 
anders vermeld zijn de stemvakjes 
met zwart of blauw gemarkeerd ) 

A. 

Aantal 
in scanner 
ingevoerde 
biljetten 

B. 

Keuze 
geteld 
conform 
keuze op 
biljet 

C. 

Onterecht 
alleen 
een lijst 
geteld* 

D. 

Onterecht 
als blanco 
geteld 

E. 

Andere 
lijst en/of 
kandidaat 
geteld 

F. 

Geteld 

biljet 

naar 

uitworp¬ 

bak 

G. 

Ongeteld 

biljet 

naar 

uitworp¬ 

bak 

l e telling 

1. één lijst en geen kandidaat 

515 

498 


4 

0 

0 

13 

2. één lijst en één kandidaat 

4.233 

4.074 

6 

4 

0 

34 

115 

3 . blanco 

8 

8 



0 

0 

0 

4 . geen lijst en één kandidaat 

21 



0 

0 

21 

0 

5 . geen lijst en twee kandidaten 

7 



0 

0 

7 

0 

6. twee lijsten en geen kandidaat 

3 



0 

0 

3 

0 

7 . één lijst en twee kandidaten 

7 



0 

0 

7 

0 

8. twee lijsten en één kandidaat 

10 



0 

0 

9 

1 

9 . twee lijsten en twee kandidaten 

1 



0 

0 

1 

0 

10. stemvakjes met rood ingekleurd 

13 

0 

0 


0 

0 

0 

11. stemvakjes omcirkeld 

10 

2** 

4** 

3 ** 

0 

1 

0 

12. stemvakje van lijst omcirkeld, 
van kandidaat zwart ingekleurd 

3 

1** 

0 

0 

0 

2 

0 

13 . Lijstkader aangekruist, stem¬ 
vakje kandidaat zwart ingekleurd 

1 

0 

0 

0 

0 

1 

0 

14 . stemvakjes met pijl aangeduid 

4 

0 

0 

4** 

0 

0 

0 


4.836 

4.583 

10 

28 

O 

86 

129 


2 e telling 

1. één lijst en geen kandidaat 

515 

508 


4 

0 

3 

0 

2. één lijst en één kandidaat 

4.233 

4.135 

15 

21 

0 

57 

5 

3 . blanco 

8 

8 



0 

0 

0 

4 . geen lijst en één kandidaat 

21 



0 

0 

21 

0 

5 . geen lijst en twee kandidaten 

7 



0 

0 

7 

0 

6. twee lijsten en geen kandidaat 

3 



0 

0 

3 

0 

7 . één lijst en twee kandidaten 

7 

1 


0 

0 

6 

0 

8. twee lijsten en één kandidaat 

10 



0 

0 

10 

0 

9 . twee lijsten en twee kandidaten 

1 



0 

0 

1 

0 

10. stemvakjes met rood ingekleurd 

13 

0 

0 

13 *** 

0 

0 

0 

11. stemvakjes omcirkeld 

10 

0 

2** 

8** 

0 

0 

0 

12. stemvakje van lijst omcirkeld, 
van kandidaat zwart ingekleurd 

3 

0 

1** 

0 

0 

2 

0 

13 . Lijstkader aangekruist, stem¬ 
vakje kandidaat zwart ingekleurd 

1 

0 

0 

0 

0 

1 

0 

14 . stemvakjes met pijl aangeduid 

4 

0 

1** 

1** 

1** 

1 

0 


4.836 

4.652 

19 

47 

1 

112 

5 


3 e telling 

1. één lijst en geen kandidaat 

515 

510 


2 

0 

0 

3 

2. één lijst en één kandidaat 

4.233 

4.053 

6 

11 

0 

55 

108 

3 . blanco 

8 

8 



0 

0 

0 

4 . geen lijst en één kandidaat 

21 



0 

0 

21 

0 

5 . geen lijst en twee kandidaten 

7 



0 

0 

7 

0 

6. twee lijsten en geen kandidaat 

3 



0 

0 

3 

0 

7 . één lijst en twee kandidaten 

7 



0 

0 

7 

0 

8. twee lijsten en één kandidaat 

10 



0 

0 

10 

0 

9 . twee lijsten en twee kandidaten 

1 



0 

0 

1 

0 

10. stemvakjes met rood ingekleurd 

13 

0 

0 

13 *** 

0 

0 

0 

11. stemvakjes omcirkeld 

10 

1** 

3 ** 

4** 

0 

2 

0 

12. stemvakje van lijst omcirkeld, 
van kandidaat zwart ingekleurd 

3 

1** 

0 

0 

0 

2 

0 

13 . Lijstkader aangekruist, stem¬ 
vakje kandidaat zwart ingekleurd 

1 

0 

0 

0 

0 

1 

0 

14 . stemvakjes met pijl aangeduid 

4 

0 

0 

0 

0 

3 

1 


4.836 

4.573 

9 

30 

0 

112 

112 


* Alleen van toepassing als op het stembiljet een keuze is gemaakt op één lijst en op één kandidaat. 

** Stembiljetten met omcirkelde stemvakjes of met een pijl aangeduid behoren in de uitworpbak terecht te komen. 

*** De scanners van de testopstellingen waren voorzien van roodfilters, hierdoor wordt de rode kleur niet gedetecteerd. 


Tabel 9. Aantallen met OCR-techniek getelde concept stembiljetten 
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Bevindingen 

Tijdens het elektronisch tellen van de concept stembiljetten met OCR-techniek zijn een 

aantal bevindingen gedaan: 

• Het kwam voor dat op een stembiljet waarop een keuze werd gemaakt voor een lijst 
en voor een kandidaat, slechts een van de twee keuzes werd gedetecteerd. Als de 
keuze op de kandidaat werd gedetecteerd en niet die op de lijst werd het betreffende 
stembiljet naar de uitworpbak gevoerd en kon het biljet met het menselijk oog worden 
beoordeeld (z/e tabel 9: van kolom F de regels 2 op pagina 30). Als de keuze op alleen 
de lijst werd gedetecteerd, dan werd die keuze elektronisch geteld ( zie tabel 9: van 
kolom C de regels 2). Als beide keuzes niet werden gedetecteerd dan werd het biljet 
als blanco geteld ( zie tabel 9: van kolom D de regels 2). Als op een stembiljet een 
keuze was gemaakt voor alleen een lijst en die keuze werd niet gedetecteerd, dan 
werd het stembiljet ook als blanco geteld, (z/e tabel 9: van kolom D de regels 1). 

De mogelijke oorzaken voor het niet-detecteren van een keuze kon zijn dat een 
stemvakje te weinig zwarte pixels bevatte zodat dat stemvakje niet met OCR-techniek 
werd gedetecteerd en niet werd geteld. Bijvoorbeeld als de inkleuring te licht was ofte 
weinig (z/e bij 1 in afbeelding 16 op pagina 32). Of een stemvakje was met potlood 
volledig zwart ingekleurd en werd toch niet gedetecteerd. Hier zou het grafiet in de 
zwarte kleur de mogelijke oorzaak kunnen zijn. Grafiet kan reflecteren en zou conform 
wit papier tijdens het scannen licht terugkaatsten, waardoor een markering niet altijd 
wordt gedetecteerd (z/e bij 4 in afbeelding 16). 

• Het kwam voor dat op een stembiljet stemvakjes met rood waren ingekleurd 
{zie bij 2 in afbeelding 16). Met rood ingekleurde stemvakjes werden niet 
waargenomen omdat de scanners van de testopstellingen waren voorzien van 
roodfilters die ervoor zorgen dat de rode markeringen niet werden gedetecteerd 
(z/e tabel 9: van kolom D de regels 10). 

• Het kwam voor dat op een stembiljet stemvakjes omcirkeld waren of met een pijl 
aangeduid (z/e bij 3 in afbeelding 16). Als de omcirkeling of de pijlen de witte stip in 
een stemvakje niet raakten, dan werd dat stemvakje niet gedetecteerd met OCR. 

Als bij het omcirkelen of tekenen van de pijl de witte stip van een ander onbedoeld 
stemvakje geraakt werd, dan kon dat onbedoelde stemvakje worden gedetecteerd en 
elektronisch geteld in plaats van het bedoelde stemvakje. (z/e tabel 9: de regels 11, 

12 en 14). 
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Afbeelding 16. Voorbeelden van gemarkeerde stemvakjes 

Tijdregistratie 

Voor het registreren van de tijd van het tellen van het concept stembiljet met OCR- 
techniek verliep het tellen van een batch stembiljetten op een testopstelling volgens een 
vooraf vastgesteld telproces: 

Het uitvouwen van een batch stembiljetten waarbij de stembiljetten tevens in dezelfde 
leesrichting werden gelegd. 

Het verdelen van de stembiljetten in één of meer stapels. De grootte van een stapel 
stembiljetten werd bepaald door de invoercapaciteit van de scanner. 
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Het door de scanner voeren van een batch stembiljetten. 

Het printen van het telresultaat na afloop van het scannen van de batch stembiljetten. 
En tot slot het met het menselijk oog beoordelen en handmatig tellen van de 
stembiljetten uit uitvoerbak B (uitworp). 

Om na te gaan hoeveel tijd het heeft gekost om de stembiljetten met OCR-techniek te 
tellen, werd tijdens de test van elke batch stembiljetten twee tijden bijgehouden. 

De bruto tijd: de tijd die nodig was om stapels te maken, stembiljetten door de 
scanner te voeren, het printen van het telresultaat en het handmatig tellen van de 
stembiljetten in uitvoerbak B. 6 

De netto tijd: de tijd die nodig was om stembiljetten te scannen. 


De tijd die nodig was om de stembiljetten met een vouw uit te vouwen en in dezelfde 
leesrichting te leggen is vastgesteld in 2013 als onderdeel van de teltesten die toen zijn 
gehouden. (Z/e ’ Rapportage van ontwerpen en testen van nieuwe concepten stembiljetten 
die elektronisch kunnen worden geteld' van 16 oktober 2016.) De gemiddelde tijd van het 
uitvouwen en in de leesrichting leggen is ook in tabel 10 vermeld. 


Resultaten 

Het aantal elektronische tellingen waarbij werd nagegaan hoeveel tijd het kostte om 
stembiljetten met OCR-techniek te tellen bedroeg 21. De telling van elke batch vond plaats 
op een ander type proefopstelling. In tabel 10 zijn de gemiddelde gemeten teltijden 
opgenomen. 


Onderdeel telproces 

Gemiddelde tijd 
in minuten 

Uitvouwen en in de leesrichting leggen van stembiljetten* 

14 

Stapelen van stembiljetten 

0,5 

Invoeren van stembiljetten 

0,75 

Scannen van stembiljetten (minimum tijd 13** /maximum tijd 30,5) 

21,75 

Printen van telresultaat*** 

2 

Handmatig tellen van circa 10 stembiljetten uit uitvoerbak B 

3,5 


Gemiddelde teltijd per batch in minuten 

42,5 


* Twee personen hebben de stembiljetten uitgevouwen en in de leesrichting gelegd. 

De overige handelingen van het telproces werden uitgevoerd door één persoon. 

** Opgemerkt moet worden dat de snelste scanner veel stembiljetten doorvoerde 
naar de uitworpbak zonder deze biljetten elektronisch te tellen. 

*** De omvang van het telresultaat betrof circa 30 pagina's. Het telresultaat werd 
op een eenvoudige printer geprint. 


Tabel 10. Gemiddelde tijd voor het tellen van een batch stembiljetten met OCR-techniek 


6 Als het telproces werd onderbroken doordat bijvoorbeeld een stembiljet tijdens het scannen vastliep 
dan werd deze tijd meegenomen in de bruto tijd. 
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5 Verbeteringsvoorstellen naar aanleiding 
van testresultaten 

De bevindingen opgedaan tijdens de testen bieden aanknopingspunten voor verdere 
verbetering van de ontwerpen. Tijdens de testen is het vóórgekomen dat op een testbiljet 
geen stemvakje bij een lijst werd ingekleurd en wel een stemvakje bij een 
kandidaatnummer. Om aan de kiezer duidelijk te maken dat voor een geldige stem een 
lijst gekozen moet worden, kan de uitleg op concept model 1 worden aangepast. Ook het 
kandidatenoverzicht in het stemhokje kan worden verbeterd. In dit hoofdstuk worden de 
voorgestelde verbeteringen beschreven. 

5.1 Aanpassingen aan concept model 1 

In de uitleg op het stembiljet is nadruk gelegd op het kiezen van een lijst door: 

• De twee instructies, 'Stap 1' en 'Stap 2', terug te brengen tot één instructie 'Kies 
hierboven één partij en kies dan pas een nummer van een kandidaat'. Deze instructie 
wordt gepositioneerd boven de stemvakjes voor kandidaatnummers, zodat een kiezer 
tijdens het uitbrengen van een stem wordt verwezen naar de lijsten. 

• In de nieuwe instructie wordt de nadruk gelegd op 'Kies één partij' en 'hierboven' 
door dit zinsdeel in grote letters uit te voeren en het woord 'hierboven' tevens vet te 
maken. Daarbij wordt voorafgaand aan de instructie alleen het pictogram van een 
stemvakje met potlood afgebeeld dat qua vorm overeenkomt met de stemvakjes bij 
de lijsten. 

• Het tweede deel van de instructie '... en kies dan pas een nummer van een kandidaat' 
krijgt minder nadruk door het woord 'pas' in de zin op te nemen en door dit zinsdeel 
uit te voeren in een kleinere letter. 

• De instructie is verder voorzien van een toelichting op de consequentie van 
het niet kiezen van een lijst. 

(zie afbeelding 17 op pagina 35) 

5.2 Aanpassingen aan het kandidatenoverzicht 

Om tijdens het uitbrengen van een stem op een kandidaat bij de kiezer onder de aandacht 
te brengen dat eerst een lijst moet worden gekozen en dan pas een kandidaatnummer, is 
het kandidatenoverzicht in het stemhokje gesplitst in een poster en een folder. 

• De poster hangt op ooghoogte op de achterwand van het stemhokje en bevat de 
namen en logo's van de lijsten die deelnemen aan de verkiezing. De aangepaste poster 
bevat geen namen en nummers van kandidaten. 

• In het stemhokje ligt een folder uitgevoerd op A4-formaat (297 x 210 mm). 

Deze folder is een verkleinde uitvoering van de folder beschreven in paragraaf 2.2. 

De folder bevat de namen van de kandidaten voor wie kan worden gekozen. 

(zie afbeelding 18 op pagina 36 en afbeelding 5 op pagina 9.) 
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Afbeelding 17. Voorbeeld van concept model 1 stembiljet met aangepaste uitleg. 
(Het voorbeeld bevat de lijsten van de verkiezing van de leden van het Europees 
Parlement in 2014.) 
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Afbeelding 18. Stemhokje met op de achterwand de poster met de lijstnummers, 
lijstnamen en logo's. Op de tafel van het stemhokje de folder met het kandidatenoverzicht. 
(Zie voor een afbeelding van de folder pagina 9.) 








